Tuesday Keynoteでは、Databricks CEO の Ali Ghodsi 氏と OpenAI の Greg Brockman 氏が登壇し、データとAIを企業で安全かつ実務的に活用するためのビジョンを示した。データ取り込みの簡素化、Lakehouse による統合基盤、そして企業向け AI エージェントの実装まで、複数の方向性が示された。
※サイトの更新により、リンクが無効になる可能性があります。
― エーピーコミュニケーションズ GDAI部 Lakehouse
現代のデータ課題と効率的な取り込み手法
スピーカーは、過去の複雑なアーキテクチャが運用負荷や管理コストを増やしてきた点を指摘し、取り込みパイプラインをできるだけシンプルに保つ重要性を強調した。また、ストリーミング基盤やバッファとして Kafka を使う一方で、より軽量な取り込み手法やイベント駆動のワークフローを採用する事例があることにも触れた。取り込み方法にはそれぞれトレードオフがあり、運用コスト、スループット、整合性の要求に応じた選択が求められるという点が繰り返し示された。
Databricks Lakehouse Platform による統合アーキテクチャ
Databricks は Lakehouse を中核に据え、データレイクの柔軟性とデータウェアハウスの信頼性を両立することを目指す。データエンジニアリング、データサイエンス、機械学習、BI、トランザクション処理を単一基盤で扱えることを強調した。
Lakeflow による統一された取り込みと変換
Lakeflow は宣言的なパイプラインで取り込みと変換を管理するコンポーネントとして紹介され、複雑なフローを可視化・簡素化する用途が説明された。取り込みから変換、監視までを一貫して扱えることが狙いであり、リアルタイム処理やバッチ処理の選択はワークロードに応じて行うべきとした。
Lakehouse による分析と機械学習の加速
Lakehouseは、分析や機械学習のワークロードを効率化するための統合層として示された。新しい実行エンジンについては、従来より高速であると説明され、低レイテンシーの分析ニーズに対応する意図が語られた。
LakeBase によるトランザクション処理
LakeBase は Lakehouse 上で動作するトランザクション向けデータベースとして紹介され、スケーラビリティとコスト効率を重視した設計や、スナップショットやブランチング等の運用機能が説明された。これにより、データベース的なワークロードを Lakehouse 上で扱いやすくする狙いが示された。
Unity Catalog と AI Gateway によるガバナンス
Unity Catalog はデータとモデルのガバナンスを一元化する仕組みとして、アクセス制御や監査、リネージ管理の重要性を強調した。Unity AI Gateway は AI モデルやエージェントの利用を管理するための単一のエントリーポイントとして説明され、セキュリティやコスト管理の役割が示された。
Genie Ontology によるコンテキスト抽出
Genie Ontology は、企業内の知識ソースからコンテキストを抽出して AI エージェントに供給する仕組みとして紹介された。ドキュメントやダッシュボードなど複数ソースを統合してエージェントに注入することで、より適切な応答や判断が期待されるとの説明があった。
Genie Agents による企業向け AI コワーカー
Genie ファミリーは、業務向けの複数タイプのエージェント群として示された。ビジネス向けの対話型エージェント、コード／データに特化したエージェント、運用自動化を目的としたエージェントなどがあり、各種業務プロセスの生産性向上を目指す構想が語られた。
企業導入事例
発表では複数の企業導入例が紹介され、Databricks のプラットフォームと Genie が実業務で利用されていることが示された。導入事例は業種やユースケースに応じて異なるアプローチを採っており、移行や運用における学びが共有された。
データとAIが導く企業の未来
講演の中心メッセージは、データ基盤の単純化とガバナンス、そして実務に適した AI の組み合わせによって、組織の意思決定と業務自動化を進めることにある。オープンソースやオープンフォーマットを重視しつつ、運用性とセキュリティを担保する設計が今後のポイントであると締めくくられた。
関連する詳細は Databricks の公式サイトや各プロダクトのドキュメントを参照されたい。例えば Databricks のセッションページは Tuesday Keynote にある。
